BrazeのCurrentsを使ってS3に書き出したデータをBigQueryに自動転送してみた

Brazeブロガーの國崎です。
今回はBrazeのCurrentsを使ってAmazon S3に書き出したデータをBigQueryに転送するという作業をやってみました。

以前Braze➡︎GCS➡︎BiqQueryの記事はアップしましたが、今回はGCSをS3に変えての手順になります。
ちなみに以前の記事が気になるという方は以下よりご確認ください。

前提条件

当記事は以下条件を満たしている方向けの記事となります。

• Google Cloudのプロジェクト設定は完了している
• Brazeの契約プランにCurrentsを入れている
• Braze➡︎S3のCurrentsを使った書き出しはできている

Braze➡︎S3のCurrents手順が気になるという方は以下で紹介する記事をご覧ください。

S3でアクセスキーIDとシークレットキーを発行

S3からBigQueryにデータを転送する際ですが、S3のアクセスキーIDとシークレットキーが必要になります。
既にこの時点ではBraze➡︎S3のCurrents設定でIAMポリシーが作成されているはずなので、その前提での手順となります。

まずIAM>ユーザーで遷移し、ユーザーを追加をクリックします。

ユーザー名を入力し、アクセスキー・プログラムによるアクセスにチェックをいれて次のステップに進みます。

ユーザーをグループに追加を選択し、グループの作成をクリック。

表示された画面でグループ名を入力し、Braze➡︎S3のCurrentsで使用しているポリシーにチェックを入れてグループの作成をクリック。
次のステップに進みます。

タグの追加は空白でOK。

内容に問題なければユーザーの作成をします。

アクセスキーIDとシークレットアクセスキーが作成されるので、あなただけの秘密にしてください。

BigQueryでS3からのデータ転送を設定

続いてBigQueryでの作業です。
まずテーブルを作成します。

この際のテーブルの作成元は空でOKです。
送信先のテーブルの名前だけ決めて、テーブルを作成をクリックします。

左メニューのデータ転送を選択。

転送を作成をクリックし、以下各項目を入力します。

• ソース…Amazon S3
• 転送構成名…なんでもOK
• スケジュールオプション…自動転送したいスケジュール
• データセット…今回作成したテーブルのデータセット
• Destination table…今回作成したテーブル名
• Amazon S3 URI…S3から転送したいオブジェクトのパス（末尾に*をつけると配下全部になる）
• Access key ID…S3で作成したアクセスキーID
• Secret access key…S3で作成したシークレットキー
• File format…AVRO

上を入力し保存をするとデータ転送が実行されて完了すると以下の表記になります。

完了後テーブルの中身を確認するとCurrrentsのデータが転送されているのが確認できました。

まとめ

以上、Braze➡︎S3➡︎BigQueryのデータ転送の手順紹介でした。
BigQueryに反映したデータはLookerなどのBIツールにも連携できます。

BrazeとLookerの連携についてはまた別記事で紹介しようと思います。